#算力scaling law

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

3天前

人类生物智能之所以需要注意力，是因为自由能驱动的生物结构复制子的存在being使然，我们只需要个体存续和繁衍下去。所以我们留给预测编码的能量很有限，20w。而今天的AGI类似造神，所以需要算力scaling law。今天的LLM驱动的agent问题所在是我们在海量文本知识海洋里通过注意力机制想符号落地到具体的scenario，这是个悖论。一方面context窗口的成本非常高，一方面获得的人类价值取向下的回报很有限，因此这个符号空转的资本模式不可持续。 ASI可能是个可能方向，但那肯定是个新范式。 LLM的产出需要cognitive AI。或者我们需要像YiMa教授说的，要走向AI2.0。

#生物智能 #注意力机制 #AGI造神 #算力scaling law #符号空转